大数据——数仓分层详解
将数据模型分为三层:数据运营层( ODS )、数据仓库层(DW)和数据应用层(APP),ODS层存放的是接入的原始数据,DW层是存放我们要重点设计的数据仓库中间层数据,APP是面向业务定制的应用数据。
将数据模型分为三层:数据运营层( ODS )、数据仓库层(DW)和数据应用层(APP),ODS层存放的是接入的原始数据,DW层是存放我们要重点设计的数据仓库中间层数据,APP是面向业务定制的应用数据。
指字段比较多的数据库表。通常是指业务主体相关的指标、维度、属性关联在一起的一张数据库表。宽表由于把不同的内容都放在同一张表,宽表已经不符合三范式的模型设计规范:
数据仓库就是帮企业把这些散数据“拢到一块儿、理清楚、存好”的工具,而数据仓库模型,就是给这些数据“搭架子”——怎么放才规整、怎么查才快、怎么用才方便。今天咱们就把数据仓库和数据仓库模型说透,全是能落地的干货,保证你听完就知道该怎么选、怎么用。
现在做企业的,谁没听过“数据驱动决策”?但真要落地的时候,很多人都会卡在“数据怎么管”这一步——销售数据在POS系统里,库存数据在ERP里,客户数据在CRM里,想凑齐数据做个分析,要么格式对不上,要么重复数据一堆,光整理就花大半天。
在企业中,由于开发时间或开发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行,这些系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,从而形成了“信息孤岛”。
目前由于数据分散在不同的存储环境或数据库中,对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理,造成资源和人力的浪费。同时,目前的系统架构,无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上,